ComfyUI IPAdapter plus
https://github.com/cubiq/ComfyUI_IPAdapter_pluscubiq/ComfyUI_IPAdapter_plus
ComfyUIのやり方に従ったIP-Adapterの実装です。このコードはメモリ効率がよく、高速で、Comfyのアップデートで壊れることはありません。
IPAdapter-ComfyUI by laksjdjfと比較してってことかな？nomadoor.icon
2024/3/23
IPAdapter V2へのアップデートに伴い古いワークフローが動かなくなった
https://youtu.be/CGP_j0nGdxE
使う
🦊IP-Adapter
ノード
IPAdapterApplyノード
パラメータのnoiseとはなにか？
IP-AdapterはConditioningのために2つの画像を送る。1つはリファレンスで、もう1つは（あなたには見えないが）ネガティブなコンディショニングのようなものだ
私がやっているのは、空の画像の代わりに非常にノイズの多い画像を送ることです。
0.01で最も多いノイズ、1.0ではほぼノイズが除去される
0.01がオススメ
IPAdapterApplyEncodedノード
IPAdapterEncoderノードと組み合わせて複数枚の画像を入力にする
標準のImageBatchノードを使っても複数枚入力はできる
IPAdapterEncoderノード
PrepImageForClipVisionノード
(IP-Adapterに限らず)Clip Visionは224×224の正方形にエンコードされる
長方形の画像で参照したい部分が横にズレていたりするとIP-Adapterの効きが悪くなるため、これでちょうどよい感じにクロップする
IPAdapterTilesMaskedノード
CLIPが正方形しか扱えない問題をタイリングによって回避する
weight_type : composition
https://gyazo.com/c123daf91222be6d08d03a0fdd1c90a4
構図転送
任意のIP-Adapterモデルで使える
https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/145IP-Adapter-FaceIDに対応
ip-adapter-plus-face or LoRAとの組み合わせが良いらしい
https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/195作者によるIP-Adapter face系モデルの比較
どのチェックポイント、IP-Adapterモデルの組み合わせが良いかを定量的に調べてくれている
PuLIDに対応
IPAdapter ClipVision Enhancer
これはScaling on Scalesの論文にインスパイアされたものですが、実装は少し違います。
（ピクセル空間の画像の代わりに）エンベッドをタイリングすることで、小さなディテールをキャッチしようとします。
ComfyUIカスタムノード